Ban đầu, chùa có quy mô nhỏ, được xây dựng từ xa xưa[2]. Năm 1632, Phi tần trong phủ chúa Trịnh Tráng là Ngô Thị Ngọc Diệu (còn có tên là Nguyễn Thị Ngọc Dong) [3] thấy miếu bị hoang phế điêu tàn nên đã cùng cha mẹ và người dân các làng thuộc tổng Cam Giá (tức Tổng Mía) cùng nhau tôn tạo lại. Phi tần Ngọc Dong vốn là người làng Nam Nguyễn (Nam An) trong Tổng Mía, nên được người mến mộ gọi là "Bà Chúa Mía", đồng thời đã tạc tượng đưa vào phối thờ ở chùa và còn có đền thờ riêng. Về sau chùa được tu bổ nhiều lần, song đến nay quy mô tôn tạo thời Bà chúa Mía dường như vẫn được bảo tồn nguyên vẹn.